瓦力游戏

提交需要
*
*

*
*
*
立即提交
点击”立即提交”,批注我理解并赞成 《瓦力游戏科技隐衷条款》

logo

    产品与服务
    解决规划
    技术支持
    合作发展
    关于瓦力游戏

    申请试用
      专家概想:从数据到“高质量”数据集
      颁布功夫:2025-03-27 阅读次数: 3165 次

      2024年12月,国度发改委等部门结合印发《关于推进数据产业高质量发展的领导定见》,初次提出“高质量数据集”,支吃祗业开发高质量数据集。同月,《关于推进数据标注产业高质量发展的执行定见》进一步指出加强沉点行业领域数据标注,建设行业高质量数据集。2025年2月,国度数据局在北京召开高质量数据集建设工作启动会,提出积极推动落实“人为智能+”行动,推动高质量数据集建设,高效赋能行业发展。




      一
      数据的概想


      数据(data)在宽泛意思上而言,是对事实、活动等景象的纪录。《辞海》(第七版)将数据界说为“描述事物的数字、字符、图形、声音等的暗示大局”。依照《中华人民共和国数据安全法》中给出的界说,数据是指任何以电子或者其他方式对信息的纪录。由此可见,数据自身能够有丰硕的阐发大局。


      数据一向陪伴着人类的发展而变迁。在古代,数据出现出规定化汇聚的特点。例如,我国古代的黄册(全国户口名册)、天文观测纪录均以特定规定进行登记造册,它们对人类社会和物理世界的性质、状态与互有关系进行纪录和推算,都是贵重的古代数据遗产。推算机发现后,数据与推算机编码产生沉要联系。凡可被编码为一系列0和1组成的二进造纪录,都是推算机可处置的数据。早期推算机的采集、存储、推算技术尚不成熟,只能有效处置行列结构明确的数据表,此时数据更多指代这类结构化数据。近十几年来,数据存储、传输和推算的机能不休突破,数据治理、数据处置技术急剧迭代,网页、声音、图像等半结构化、非结构化数据也逐步得到有效处置和利用。



      二
      数据集的界说


      GB/T 35295-2017《信息技术 大数据 术语》将数据集(data set)界说是“数据纪录汇聚的数据大局。(注:它能够拥有大数据的体量、速度、多样性和易变性特点。数据集的特点表征的是数据自身或静态数据,而数据的特点,当其在网络上传输时或临时驻留于推算机存储器中以备读出或更新时,表征的是动态数据。)”


      GB/T 36344-2018《信息技术 数据质量评价指标》?将数据集界说是“拥有肯定主题,能够标识并能够被推算机化处置的数据集中。”


      由此能够看出,数据集就是数据集中或者数据的汇聚大局。



      三
      高质量数据集的界定与发展


      在当今数字化时期,人为智能已成为推动各行业刷新的主题力量,其背后的关键支持则是高质量的数据集。高质量数据集不仅是AI模型训练、推理和验证的基础,更是人为智能赋能行业的主题驱动力。然而,目前业界对于高质量数据集的内涵还并未明确。


      传统的数据质量治理聚焦在结构化数据的“六性”质量(规范性、齐全性、正确性、一致性、时效性、可接见性),其性质是通过ETL流程优化实现单笔纪录的靠得住性。在人为智能急剧发展的布景下,数据质量在传统“六性”的基础上,还需进一步关注类别全面性、维度平衡性和内容安全性等指标,以满足人为智能模型训练和利用的需要,推动人为智能技术的健康、可持续发展。


      凭据调研,目前一些在研尺度中也提到,可信数据集是来自特定和受信赖起源,经可信的数据处置过程形成的高质量且满足预期用处使用的数据。


      “可信”一词近年来重要呈此刻推算机领域的“可信推算”(Trusted Computing)概想中?尚磐扑阒匾康鞯氖峭扑慊低澈推浯χ霉痰目稍げ庑浴⒖裳橹ば,保障全数推算过程的可测可控和不被滋扰,从而保障推算了局与预期的一致性。


      因而,可信数据集不仅要求数据集是高质量,同时更强调?数据采集、存储、转换性命周期过程的可信?(如合规性、一致性),从而实现数据起源合规、处置过程可信、内容高质量且安全。


      总的来说,企业在构建“高质量”数据集时,必要关注以下内容:


      一是从领域上必要涵盖结构化、半结构化和非结构化各类型数据。二是在质量评价上需思考规范性、正确性、齐全性、一致性、时效性、全面性、维度平衡性、内容安全性等指标。三是在建设运营中要关注数据集建设运营全性命周期的安全、隐衷以及伦理合规问题。进而,打造在流程、质量、安全、内容上“高质量”的数据集。



      四
      高质量数据集的建设


      针对高质量数据集的建设,我们提出“盘建研管运”五步法的治理步骤。

      ◇ “盘”是需要盘点、资源盘点。理清内表部数据资源的起源、规模、质量、类别情况,明确利用与采集的体式、质量、内容要求。

      ◇ “建”是规范建设、流程建设、平台建设。提前造订数据集的质量、安全、运管要求,尺度化工作流程,定造化工具平台。

      ◇ “延妆是数据集研发。依附前序工作的需要、流程、规范等发展尺度化的数据集研发工作,进行数据的洗濯、标注、加强、质量评价等操作,出产数据集。

      ◇ “管”是数据集治理。洞察数据集规模、散布等组成,依附可追忆的数据集治理平台,守护数据集版本与上架资产。

      ◇ “运”是全链路运营。守护数据集评价指标,跟踪、守护、优化数据集的评价、使用、成本和价值。

      瓦力游戏| 首页 -瓦力出品,必属精品 免费试用
      瓦力游戏| 首页 -瓦力出品,必属精品 服务热线
      瓦力游戏| 首页 -瓦力出品,必属精品

      顿时征询

      400-811-3777

      瓦力游戏| 首页 -瓦力出品,必属精品 回到顶部
      【网站地图】